Ensemble learning serves as a straightforward way to improve the performance of almost any machine learning algorithm. Existing deep ensemble methods usually naively train many different models and then aggregate their predictions. This is not optimal in our view from two aspects: i) Naively training multiple models adds much more computational burden, especially in the deep learning era; ii) Purely optimizing each base model without considering their interactions limits the diversity of ensemble and performance gains. We tackle these issues by proposing deep negative correlation classification (DNCC), in which the accuracy and diversity trade-off is systematically controlled by decomposing the loss function seamlessly into individual accuracy and the correlation between individual models and the ensemble. DNCC yields a deep classification ensemble where the individual estimator is both accurate and negatively correlated. Thanks to the optimized diversities, DNCC works well even when utilizing a shared network backbone, which significantly improves its efficiency when compared with most existing ensemble systems. Extensive experiments on multiple benchmark datasets and network structures demonstrate the superiority of the proposed method.

Vision Transformer已成为计算机视觉中的新范式，表现出出色的性能，同时还具有昂贵的计算成本。图像令牌修剪是VIT压缩的主要方法之一，这是因为相对于令牌数的复杂性是二次的，而许多仅包含背景区域的令牌并不能真正促进最终预测。现有作品要么依赖其他模块来评分单个令牌的重要性，要么为不同的输入实例实施固定比率修剪策略。在这项工作中，我们提出了一个自适应的稀疏令牌修剪框架，成本最低。我们的方法是基于可学习的阈值，并利用多头自我注意力来评估令牌信息，但几乎没有其他操作。具体而言，我们首先提出了廉价的注意力重点加权阶级注意力评分机制。然后，将可学习的参数插入VIT作为阈值，以区分信息令牌和不重要的令牌。通过比较令牌注意分数和阈值，我们可以从层次上丢弃无用的令牌，从而加速推理。可学习的阈值在预算感知培训中进行了优化，以平衡准确性和复杂性，并为不同的输入实例执行相应的修剪配置。广泛的实验证明了我们方法的有效性。例如，我们的方法将DEIT-S的吞吐量提高了50％，并且TOP-1的准确性仅下降了0.2％，这比以前的方法在准确性和延迟之间取得了更好的权衡。

联合学习（FL）是一种机器学习范式，允许分散的客户在不共享其私人数据的情况下进行协作学习。但是，过度的计算和沟通要求对当前的FL框架构成挑战，尤其是在训练大型模型时。为了防止这些问题阻碍FL系统的部署，我们提出了一个轻巧的框架，客户共同学习融合由多个固定预训练的模型生成的表示形式，而不是从SCRATCH培训大型模型。这通过考虑如何从预先训练的模型中捕获更多特定于客户的信息，并共同提高每个客户利用这些现成模型的能力，从而导致我们解决了一个更实用的FL问题。在这项工作中，我们设计了一种联合原型对比度学习（FEDPCL）方法，该方法通过其类原型共享客户的知识，并以原型对比度方式构建特定于客户的表示。共享原型而不是可学习的模型参数可以使每个客户以个性化的方式融合表示表示，同时以紧凑的形式保持共享知识以进行有效的通信。我们在轻量级框架中对拟议的FEDPCL进行了彻底的评估，以测量和可视化其在流行的FL数据集上融合各种预训练模型的能力。

点过程模型在现实世界应用中非常重要。在某些关键应用程序中，对点过程模型的估计涉及来自用户的大量敏感个人数据。隐私问题自然出现了现有文献中未解决的问题。为了弥合这一明显的差距，我们提出了第一个针对点过程模型的第一个一般差异私人估计程序。具体来说，我们以霍克斯的流程为例，并根据霍克斯流程的离散表示，为事件流数据引入了严格的差异隐私定义。然后，我们提出了两种差异性优化算法，可以有效地估算霍克斯流程模型，并在两个不同的设置下具有所需的隐私和公用事业保证。提供实验以支持我们的理论分析。

差异化私有（DP）数据发布是一种有前途的技术，可以在不损害数据主体的隐私而传播数据。但是，大多数先前的工作都集中在单一方拥有所有数据的方案上。在本文中，我们专注于多方设置，其中不同的利益相关者拥有属于同一数据主体的属性集合。在线性回归的上下文中，允许各方在完全数据上训练模型，而无需推断个人的私人属性或身份，我们首先直接应用高斯机制并表明其具有小的特征值问题。我们进一步提出了我们的新方法，并证明其渐近地收敛到随着数据集大小增加的最佳（非私有）解决方案。我们通过对人工和现实世界数据集的实验来证实理论结果。

原始收集的培训数据通常带有从多个不完美的注释器中收集的单独的嘈杂标签（例如，通过众包）。通常，首先将单独的嘈杂标签汇总为一个，并应用标准培训方法。文献还广泛研究了有效的聚合方法。本文重新审视了此选择，并旨在为一个问题提供一个答案，即是否应该将单独的嘈杂标签汇总为单个单个标签或单独使用它们作为给定标签。我们从理论上分析了许多流行损失功能的经验风险最小化框架下的两种方法的性能，包括专门为使用嘈杂标签学习的问题而设计的损失功能。我们的定理得出的结论是，当噪声速率较高时，标签分离优于标签聚集，或者标记器/注释的数量不足。广泛的经验结果证明了我们的结论。

皮肤病变的准确和公正检查对于早期诊断和治疗皮肤疾病至关重要。皮肤病变的视觉特征明显差异，因为图像是通过使用不同的成像设备从具有不同病变颜色和形态的患者中收集的。最近的研究报告说，结合卷积神经网络（CNN）是实用的，可以对图像进行分类以早期诊断皮肤疾病。但是，这些连接的CNN的实际使用受到限制，因为这些网络是重量级的，并且不足以处理上下文信息。尽管开发了轻量级网络（例如MobileNetV3和ExcilityNet），以减少参数来实现移动设备上的深神经网络，但功能表示深度不足会限制性能。为了解决现有的局限性，我们开发了一个新的精简神经网络，即Hierattn。 Hierattn采用了一种新颖的深度监督策略，通过使用只有一种训练损失的多阶段和多分支注意力机制来学习本地和全球特征。通过使用皮肤镜图像数据集ISIC2019和智能手机照片数据集PAD-FIFES-20（PAD2020）评估Hierattn的功效。实验结果表明，Hierattn在最先进的轻量级网络中达到了曲线（AUC）下最佳的精度和面积。该代码可从https://github.com/anthonyweidai/hierattn获得。

大多数现有的视觉语言预训练方法侧重于在预先绘制期间了解解决任务并使用伯特样目标（屏蔽语言建模和图像 - 文本匹配）。虽然它们在许多理解下游任务中表现良好，但是，例如，视觉问题应答，图像文本检索和视觉存在，它们没有生成的能力。为了解决这个问题，我们为视觉语言理解和一代（UNIVL）提出了统一的多模式预培训。建议的UNIVL能够处理理解任务和生成任务。我们增强了现有的预押范例，只使用带有因果面罩的随机掩模，即掩盖未来令牌的三角面具，使得预先接受的模型可以通过设计具有自动发育能力。我们将几个以前的理解任务作为文本生成任务制定，并建议使用基于提示的方法来进行不同的下游任务进行微调。我们的实验表明，在使用相同型号的同时了解任务和生成任务之间存在权衡，以及改善两个任务的可行方式是使用更多数据。我们的UNIVL框架可以在近似验证任务和生成任务中获得最近的愿景预培训方法的性能。此外，我们开展了基于及时的FineTuning更具数据效率 - 在几次拍摄场景中表现出差异的方法。

联邦机器学习是一种多功能和灵活的工具，可以利用来自不同来源的分布式数据，特别是当通信技术快速发展并且现在可以在移动设备上收集前所未有的数据。联邦学习方法不仅利用数据而且挖掘了网络中所有设备的计算能力，以实现更有效的模型培训。尽管如此，虽然大多数传统的联邦学习方法适用于同类数据和任务，但将方法适应不同的异构数据和任务分配是具有挑战性的。这种限制限制了联合学习在现实世界环境中的应用，特别是在医疗保健环境中。灵感来自Meta-Learning的基本思想，在这项研究中，我们提出了一种新的算法，这是联邦学习和荟萃学习的一体化，解决这个问题。此外，由于转移学习的模型泛化的优点，我们通过引入部分参数共享进一步提高了我们的算法。我们命名该方法部分Meta联合学习（PMFL）。最后，我们将算法应用于两个医疗数据集。我们表明我们的算法可以获得最快的训练速度，并在处理异构医疗数据集时实现最佳性能。

半监督学习（SSL）证明了其在高质量监督数据受到严重限制时提高各种学习任务的模型准确性的潜力。尽管经常确定，整个数据群的平均准确性得到了改善，但尚不清楚SSL如何具有不同的子人群的票价。当我们旨在公平对待的人口群体定义不同的子人群时，了解上述问题具有很大的公平意义。在本文中，我们揭示了部署SSL的不同影响：在不使用SSL（“ Rich” One）的情况下具有较高基线准确性的子人群倾向于从SSL中受益更多；尽管添加SSL模块后，遭受低基线准确性（“穷”）的子人群甚至可能会观察到性能下降。我们从理论上和经验上为广泛的SSL算法建立上述观察结果，该算法是明确或隐式使用辅助“伪标签”。一组图像和文本分类任务的实验证实了我们的主张。我们介绍了一个新的度量，收益比，并促进对SSL公平性（均等福利比）的评估。我们进一步讨论如何减轻不同的影响。我们希望我们的论文能够震惊使用SSL的潜在陷阱，并鼓励对未来SSL算法进行多方面评估。